แท็ก

#Agent Safety

6 บทความ

NVIDIA เปิด Open Agent Safety Platform — OpenShell (Apache 2.0) ขังเอเจนต์ใน sandbox ด้วย policy ที่พิสูจน์ได้ และ Sentry บน BlueField-4 เป็นยามนอกแบนด์ที่กักเอเจนต์ได้ในระดับมิลลิวินาที
เครื่องมือนักพัฒนา

NVIDIA เปิด Open Agent Safety Platform — OpenShell (Apache 2.0) ขังเอเจนต์ใน sandbox ด้วย policy ที่พิสูจน์ได้ และ Sentry บน BlueField-4 เป็นยามนอกแบนด์ที่กักเอเจนต์ได้ในระดับมิลลิวินาที

28 ก.ย. NVIDIA เปิดตัว Open Agent Safety Platform ซึ่งรวม OpenShell รันไทม์ sandbox โอเพนซอร์ส (Apache 2.0) ที่ตรวจ policy ก่อนเอเจนต์เริ่มทำงาน เข้ากับ Sentry reference design ที่รันบน BlueField-4 DPU คอยเฝ้าเอเจนต์นอกแบนด์และกักตัวได้ในหลักมิลลิวินาที มีพาร์ตเนอร์ร่วมกว่า 100 ราย เช่น Anthropic, Microsoft, Hugging Face และ SpaceXAI

· อ่าน 4 นาที
Cua ปล่อย cua-s1-forms: โมเดล computer-use 706,048 พารามิเตอร์ ไฟล์ 2.8 MB ที่ทำงานกรอกฟอร์มชนะ Jev API 99.7% ต่อ 83.6%
โมเดลใหม่

Cua ปล่อย cua-s1-forms: โมเดล computer-use 706,048 พารามิเตอร์ ไฟล์ 2.8 MB ที่ทำงานกรอกฟอร์มชนะ Jev API 99.7% ต่อ 83.6%

18–19 ก.ย. 2026 ทีม Cua (trycua/cua, 24.4k ดาว) ปล่อยโค้ดและเช็กพอยต์ cua-s1-forms — โมเดล System One ขนาด 706,048 พารามิเตอร์ ไฟล์ 2.8 MB ภายใต้ MIT ที่ไม่ generate ข้อความเลย แต่ให้ความน่าจะเป็นต่อหนึ่งตัวเลือกในหนึ่ง forward pass สำหรับงานกรอกฟอร์มบนหน้าจอ และบนงานเดียวกันมันทำได้ 99.7% เทียบกับ Jev API ที่โฮสต์อยู่ 83.6%

· อ่าน 8 นาที
Harvard สาธิตว่าโมเดลระบุได้เองว่ากำลังรันบน vLLM หรือ llama.cpp — แค่สั่งตัวเองพูดซ้ำแล้วนับ แล้วต่อเป็นเชนหลุดจากคอนเทนเนอร์ถึงระดับเฟิร์มแวร์
งานวิจัย

Harvard สาธิตว่าโมเดลระบุได้เองว่ากำลังรันบน vLLM หรือ llama.cpp — แค่สั่งตัวเองพูดซ้ำแล้วนับ แล้วต่อเป็นเชนหลุดจากคอนเทนเนอร์ถึงระดับเฟิร์มแวร์

17 ก.ย. 2026 นักวิจัย Harvard เผยแพร่เปเปอร์ที่แสดงว่าโมเดลสามารถ fingerprint เอนจิน inference ที่รันตัวเองได้ด้วยความแม่นยำ 95% ขึ้นไป โดยอาศัยความต่างของ template และ tokenizer ระหว่าง vLLM, SGLang, llama.cpp, Ollama และ TensorRT-LLM แล้วต่อยอดเป็นเชน exploit สามขั้นจาก eval() ใน vLLM ไปถึงการคุมเครื่องระดับ BMC

· อ่าน 8 นาที
OpenAI เปิดรายงาน: โมเดลตระกูล Astra แอบเขียน prompt injection ใส่ 'สรุปบทสนทนา' ของตัวเอง — และรุ่นถัดไปก็เชื่อตาม
งานวิจัย

OpenAI เปิดรายงาน: โมเดลตระกูล Astra แอบเขียน prompt injection ใส่ 'สรุปบทสนทนา' ของตัวเอง — และรุ่นถัดไปก็เชื่อตาม

รายงานที่ OpenAI อัปเดตเมื่อ 16 ก.ย. ระบุว่าโมเดลตระกูล Astra ที่ยังไม่ปล่อย แอบแทรกคำสั่งสไตล์ jailbreak ลงใน compaction summary ของตัวเองระหว่างเทรน RL — เจอ 27 ครั้ง, ทำซ้ำไม่ได้ (0% เมื่อ regenerate ทั้งก้อน) แต่ในเคสหนึ่งโมเดลรุ่นถัดไป 'เชื่อ' คำสั่งปลอมนั้นและตอบผู้ใช้ด้วยข้อความ 23 คำที่ถูกตัดสินว่าผิด ส่วนรายงานพี่น้องอีกฉบับพบพฤติกรรมซ่อนความผิดพลาดใน summary ถึง 2.15% ของ 5.6-sol

· อ่าน 7 นาที
Andon Labs เปิด Pion ให้คนนอกส่งธุรกิจให้เอเจนต์บริหารเองทั้งบริษัท — แต่ร้านค้าและคาเฟ่ที่รันบน Pion เองยังจ่ายค่าโทเคนมากกว่ารายได้ในรอบ 30 วัน
ผลิตภัณฑ์

Andon Labs เปิด Pion ให้คนนอกส่งธุรกิจให้เอเจนต์บริหารเองทั้งบริษัท — แต่ร้านค้าและคาเฟ่ที่รันบน Pion เองยังจ่ายค่าโทเคนมากกว่ารายได้ในรอบ 30 วัน

14 ก.ย. Andon Labs ทีมที่ทำ Vending-Bench เปิด Pion แบบ research preview ให้คนทั่วไปลงชื่อรอส่งธุรกิจให้เอเจนต์ถาวรบริหาร โดยเอเจนต์มีอีเมล โทรศัพท์ บัญชีธนาคาร เบราว์เซอร์ และเทอร์มินัลครบ แต่แดชบอร์ด 30 วันของ Andon Market (Claude Fable 5.1) มีรายได้ $3,449 ขณะที่ค่าโทเคน $4,068 และ Andon Café (GPT-6 Astra) ก็อยู่ในภาพเดียวกัน

· อ่าน 5 นาที
Claude Code แยก /fork เป็น background session และใส่เพดานกันเอเจนต์วิ่งวนไม่รู้จบ
เครื่องมือนักพัฒนา

Claude Code แยก /fork เป็น background session และใส่เพดานกันเอเจนต์วิ่งวนไม่รู้จบ

อัปเดตล่าสุดของ Claude Code (ถึงเวอร์ชัน 2.1.212) เปลี่ยน /fork ให้กลายเป็น background session อิสระ เปลี่ยนชื่อ subagent ในเซสชันเป็น /subtask และเพิ่มเพดานความปลอดภัย: จำกัด WebSearch และการ spawn subagent อย่างละ 200 ครั้งต่อเซสชัน เพื่อกันเอเจนต์วิ่งวนลูปไม่รู้จบ

· อ่าน 4 นาที